Destilación de Caché Semántica: Transferencia Eficiente con Reúso y Parcheado
Acelera 2.65x la inferencia de LLMs con Destilación de Caché Semántica. Reutiliza y parchea para transferencia eficiente de estado sin degradar calidad.
#cuantización de caché
Colapso de alineación bajo cuantización de caché KV: diagnóstico y mitigación
Descubre cómo la cuantización de caché KV puede destruir la alineación de seguridad en LLMs y cómo PCR recupera hasta un 97% del daño en solo 35 minutos.